SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization
SpectralShift：通过谱重参数化实现门控 DeltaNet 的高效上下文窗口扩展
🧭 线性注意力长上下文扩展训练
Gaoling School of Artificial Intelligence, Renmin University of China · IQuest Research · Microsoft Research Asia
提出谱重参数化方法，通过重塑衰减谱和学习率缩放，提升门控 DeltaNet 的长上下文扩展能力
📌 工作参考价值（3 点）
- 若业务中采用线性注意力或状态空间模型（如 Gated DeltaNet、Mamba）做用户长期行为序列建模，可借鉴谱分析思路：调整转移矩阵初始化，将衰减率分布设计为“慢谱带为主、快衰减模式保留”，既能捕获数月级别的长期兴趣依赖，又能在会话切换时快速重置状态，避免历史噪声污染当前推荐。
- 在将通用 LLM/线性注意力模型继续预训练到业务长上下文场景（如超长用户反馈、多轮 Agent 交互记忆）时，不必盲目全局持续预训练：可只对状态转移相关参数（alpha 投影）做谱重塑初始化，并赋予其更大的学习率，其他层保持常规更新，以更低成本完成上下文窗口扩展。
- 该方法不增加推理计算或 KV cache，适合线上低延迟的推荐/搜索服务；若团队自研线性注意力序列模型，可直接沿用“初始化谱重塑 + alpha 投影学习率缩放”的工程 trick，避免修改推理代码。